Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization
通过跨层潜向量量化实现逐层嵌入的极致压缩
🧭 LLM 嵌入压缩 · 向量量化
Mohamed bin Zayed University of Artificial Intelligence · Westlake University · Zhejiang University · University College London · Weizmann Institute of Science
提出 OPTIC，每 token 只存一个共享量化码，各层用仿射解码器还原层嵌入，实现约 100 倍 PLE 压缩并保留 97.8% 性能
📌 工作参考价值（4 点）
- 对超大 embedding 表（如 item/user ID embedding、多粒度语义 ID、序列模型 token embedding）做压缩时，可以借鉴「每 token/item 只存一个共享 code tuple + 各层/各任务用轻量仿射解码器」的结构，避免为每个层或每个上下文单独存储完整向量，显著降低参数量和存储成本。
- 压缩时不要只做向量重建，要直接拟合输出路径或下游任务损失。业务中可改为用蒸馏 loss 或 CTR/CVR 损失联合训练 codebook 和 decoder，比单纯最小化 embedding MSE 更能保留排序/推荐质量。
- 在生成式推荐或 LLM4Rec 场景，如果使用多层 Decoder 的 per-layer item/token embedding，OPTIC 的 shared token code 可等价为仅存一份 item 语义码，逐层 affine 解码出适合不同层表征需求的 embedding，适合推理端内存敏感的服务部署。
- 工程上可借鉴其 29.7% GPU 内存下降、几乎不增加延迟的结果：对 embedding 表做高倍压缩能直接释放显存，支撑更大 batch 或更长序列，但要避免 decode 过程引入高额计算，建议用简单仿射变换而不是复杂网络。